Beyond the Final Embedding: Retrieving Memories from Token-Level Evidence
超越最终 Embedding：从 Token 级证据中检索记忆
🧭 RAG 记忆检索 · token 级匹配 ★ 深度解读
Southeast University · MemoraX AI · Leiden University · University of Sydney
冻结 embedding 的 token 级稀疏匹配融合整句相似度，无需训练提升记忆检索
📌 工作参考价值（4 点）
- 可复用现有 embedding 模型已经算好的 token hidden states：给商品/内容/会话记忆建 token 级 HNSW 索引，query token 检索后按 source memory ID 聚合，再与整向量相似度做 query-wise 标准化融合。无需训练 encoder 或重建文档索引，适合快速在现有召回链路上加一层局部证据信号。
- 工程实现上，保留 token 到 memory/item 的 ID 映射，聚合时用检索到的最后一个 token 的 clipped similarity 作为缺失分 floor，能显著减少 HNSW 漏召回的影响；k=64、α=0.5 在多个 backbone 上稳定，可直接作为默认参数。
- 可选的 LoRA query adapter 只训练 query token states，保持 item/memory 侧索引完全不变，对商品库频繁更新、多租户场景很友好；上线只需替换轻量 query 头。
- 存储与延迟权衡：token 索引不压缩会大很多，但 SQ4 可压缩 81–85%，质量几乎不降；大规模商品/内容索引可优先上 SQ4，进一步降本可试 RP128+SQ4，但质量损失更明显。